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Die folgenden Angaben sind den vom Anmelder eingereichten Urrterlagen entnommen 

(m) Verfahren zur Interaktion mit computergrafischen Objekten in virtuellen Umgebungen 

® Die interaktive Simulation von Montagevorgangen in 
virtuellen Umgebungen erfordert eine adaquate Model- 
lierung der Benutzerinteraktionen und des Verhaltens der 
virtuellen Objekte. Existente Simulationssysteme bieten 
dazu nur rudimentare Methoden an, welche die Durchfiih- 
rung von (vlontageteilfunktionen nur unzureichend unter- 
stiitzen. 

Diese Erfindung beschreibt ein Verfahren, mit dessen Hil- 
fe 

a) CAD-Modelle in computergrafische Objekte transfor- 
miert, unverandert in virtuelle Umgebungen importiert 
und dort gezielt mit speziellen Eigenschaften versehen 
werden, 

b) computergrafische Objekte bei Kollisionen mit anderen 
Elementen der virtuellen Umgebung automatisch positio- 
niert bzw. justiert werden konnen, 

c) der Anwender bei interaktiven Positionier- und Justa- 
gevorgangen durch das Simulationssystem gezielt ge- 

* fiihrtwird, 

d) computergrafische Objekte durch virtuelle Kraftfelder 
an anderen Objekten innerhalb der virtuellen Umgebung 
ausgerichtet werden, 

e) Eigenschaften von Objekten und Vorgange innerhalb 
der virtuellen Umgebung durch visuelle, akustische und 
haptische Riickkopplungsmechanismen fur den Anwen- 
der wahrnehmbar und erfahrbar werden. 
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Bcschreibung und insbcsonderc an Objekten pla/iert. werden. Die aus 

CAD-Modellen automatisch erzeugten, computergrafischen 
Technisches Gebiet Objekte bleiben ansonsten unverandert. 

Uber einen grafischen Dialog kann der Anwender die 
CAD/CAM-Systeme, Virtuelle Realitat/Umgebungen, 5 Charakteristika der sensitiven Polygone auswahlen bzw. 
Mensch-Maschinc Systcme. festlcgen. Dabei sind die Polygone nach 



Stand der Technik 

Existente Simulationssysteme auf Basis virtueiler Urnge- 
bungen bieten nur rudimentare Modellierungen derjenigen 
Interaktionen rcaler Objekte an, die die Durchfiihrung von 
zielgerichteten, interaktiven und automatischen Objektbe- 
wegungen erlauben. Beispielsweise wird auf die Kollision 
von virtuellen Objekten mit einem Abbruch des Bewe- 
gungsvorgangs reagiert, wodurch interaktive Justage- oder 
Positionierbewegungen kaum durchfiihrbar sind. 



Aufgaben 



Die Vereinfachung der interaktiven Positionierung und 
Justierung computergrafischer Objekte mittels rnultimodaler 
Darstellungs- und Unterstiitzungssysteme. 

Die automatisicrte Positionierung und Justierung compu- 
tergrafischer Objekte anhand 25 

- der Einbringung von sogenannten sensitiven Poly- 
gonen und der Erkennung von Kollisionen mit diesen 
Polygonen. 

- der Simulation von Kraftfeldern zwischen einzelnen 30 
Objekten. 

- der Verwendung virtueiler Fuhrungshiilsen. 



Gewerbliche Nutzbarkeit 
Gewerblich nutzbar ist die Erfindung 
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- Art und 

- Eigenschaft 
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wahlbar. 



Arten sensitiver Polygone 



15 Sensitive Polygone konnen klassifiziert werden in 

- zusammenhangende Polygone oderPolygongruppen 
und 

- Einzelpolygone. 
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Je nach Art konnen unterschiedlich komplexe Funktionen 
von den Polygonen ubernommen werden. Im Falle der zu- 
sammenhangenden Polygone sind dies beispielsweise die 
Fcstlegung der Ausgangsorienticrung, die Objekte anneh- 
men, wenn sie mit dem ersten sensitiven Polygonen kolli- 
dieren und die Endlage, die durch das korrespondierende 
zweite Polygon beschrieben wird und automatisch einge- 
nommen werden kann. Somit laBt sich zum Beispiel eine 
virtuelle Schraubenmutter beim Aufdrehen auf einen Ge- 
windebolzen zunachst justieren und anschlieBend automati- 
siert in die Position bewegen, die sie im aufgedrehten Zu- 
stand einnimmt (siehe Abb. 2). Einzelpolygone konnen ein- 
gesetzt werden, um Objekte einem einstufigen Manipulati- 
onsprozefi zu unterziehen, beispielsweise um die Orientie- 
rungen verschiedener Objekte bei Kollision bestimmter 
Oberflachenregionen der Objekte automatisch aneinander 
anzupassen. 



- in konstruierenden, produzierenden und montieren- 
den Untemehmen zur Validierung von CAD-Konstruk- 40 
tionen, aber auch zur optimierten Planung von Arbeits- 
und insbesondere Montageprozessen. 

- von Entwicklern und Anwendern virtueiler Umge- 
bungen zur Gestaltung von Interaktions- und Manipu- 
lationsprozessen. 45 



Erreichte Vorteile 

Vereinfachte Objekthandhabung; Entlastung des Anwen- 50 
ders von filigranen, umstandlicben Manipuladonsprozessen; 
Beschleunigung interakli ver Simulationcn; Reduzierung des 
notwendigen Model licrungs- und Rechenaufwands. 

Ausfiihrung 55 



Eigenschaften sensitiver Polygone 

Die Eigenschaften sensitiver Polygone konnen aus ciner 
Vorauswahl gewahlt bzw. interaktiv festgelegt werden. Zu 
den Eigenschaften ziihlen 

- Grundflachengeometrie des Polygons (z. B. kreis- 
fonnig, quadral.isch) 

- Abmcssungen (Grundflache und raumliche Ausdeh- 
nung) 

- Funktionalitat (z. B. Orientierungs-, Positionsbe- 
stimmung kollidierter Objekte) 

- Sensitivitatsraum, d. h. Volumen um das Polygon, 
innerhalb dessen der Anwender beim interaktiven Be- 
wegen von Objekten mittels geeigneter Riickkopplun- 
gen (akustisch, taktil etc.) zum Ziel gefiihrt werden 
kann. 



Sensitive Polygone 

Vor Beginn der eigentlichen Simulation kann der Anwen- 
der innerhalb der computergrafischen Umgebung, die aus ^ 
CAD-Daten abgeleitet wird, funktionale Einheiten bestim- 
men (beispielsweise Bohrungen zur Aufnahme von Bolzen), 
die wahrend der Simulation in Folgc von Anwcnderintcrak- 
tionen aktivicrt werden und korrespondierende Objekte (im 
Falle der Bohrung z. B. der Bolzen, siehe Abb, 1) manipu- 65 
lieren. Zur Realisierung der Funktionalitat konnen funkti- 
onstragende Elemente (nachfolgend synonym "Sensorkra- 
gen" oder "sensitive Polygone" genannt) in der Umgebung 



Virtuelle Kraftfelder 

Der Algorithmus zur Simulation von Kraftfeldern ver- 
wendet als Parameter die 

- Entfernung von Objekten, 

- die GroBe von Objekten. 

- die Orientierung von Objekten. 

Aktiviert der Anwender das Kraftfeld, so iiberpruft der 
Algorithmus die Objekte innerhalb der Szene auf ihren Ab- 
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stand zueinander. Unl.erschreil.el dieser A b stand einen ein- 
stellbaren Schwellwert, so wird das kleinere der Objekte, 
bzw. bei Objektgruppen oder -verbanden der kleinere Ver- 
band, automatisch zum grofieren Objekt bewegt (siehe Abb. 
3). Das bewegte Objekt wird so am unbewegten Objekt aus- 
gerichtet, das die Teile der Obcrflache bei der Objekte, die zu 
Beginn der Bewegung den geringsten Winkel miteinander 
einschlossen, am Ende der Bewegung planparallel verlau- 
fen. 

Virtuelle Fuhrungshulsen 



5. Die automatisierte Manipulation unbewegter und 
bewegter Objekte mittels "virtueller Kraftfelder", d. h. 
durch einen Software- Algorithmus induzierte "Krafte" 
und Bewegungen, die unzusamrnenhangende Objekte 

5 aufeinander zu bewegen und aneinander ausrichten. 

6. Die vereinfachtc, inlcraktive Handhabung compu- 
tergrafischer Objekte mittels multimodaler Darstel- 
lungs- und Unterstiitzungsmechanismen. 



10 Hierzu 2 Seite(n) Zeichnungen 



Vor Beginn der Simulation kbnnen um spezielle Objekte 
oder Objektabschnitte interaktiv Bereiche definiert werden, 
innerhalb derer der Anwender wahrend interaktiver Objekt- 15 
bewegungen in der Simulation durch das System gefiihrt 
wird. Die Bereiche sind in ihrem Umfang sowie der Art und 
Intensitat der zur Darstellung verwendeten Modalitat defi- 
nierbar. Versuchtder Anwender beispielsweise interaktiv ei- 
nen Bolzen in eine Bohrung einzufiihren (siehe Abb. 4), so 20 
wird ihm bei Erreichen der Fiihrungshulse z. B. akustisch 
oder taktil eine Vibration vermittelt, deren Intensitat mit zu- 
nehmend genauerer Justierung des Bolzens in der Bohrung 
abnimmt. 

25 

Multimodale Darstellungs- und Unterstiitzungsmechanis- 
men 



Die multimodale Benutzungsschnittstelle verwendet die 
Sensorwerte von 3D-Eingabegeraten als Parameter zur Ma- 30 
nipulation virtueller Objekte und stellt Ereignisse innerhalb 
der virtuelien Umgebung durch 

- visuelle 

- akustische 35 

- propriozeptive 

- taktile 



Reize dar. 

Ein Algorithmus ermittelt die darzustellende Infonnalion 40 
auf Basis automatisch erfaBter Benutzereingaben, beispiels- 
weise die Reaktionskraft bei einer Kollision zwischen einem 
interaktiv vom Benutzer gefiihrten und einem statischen Ob- 
jekt in der Umgebung. AnschlieBend erfolgt die Codierung 
der Information in technische Signale, wobei an die mensch- 45 
liche Wahrnehmung angepaBte Transfonnationen und ins- 
besondere Skalicrungcn durchgefiihrt werden. Abschlie- 
8end werden die Signale mittels Lautsprecher/Kopfhorer, 
Visualisierungssystem und Kraftriickkopplung dargestellt. 

50 

Patentanspriiche 

1 . Durch den Aufbau virtueller Umgebungcn mit. com- 
putergrafischen Objekten, die aus beliebigen CAD- 
Applikationen exportiert und innerhalb der virtuelien 55 
Umgebung mit statischen, dynamischen und virtuelien 
Eigenschaften versehen werden. 

2. Die interaktivc Auswahl, Konfiguralion und Plazic- 
rung funktionstragender Elemente ("sensitive Poly- 
gone", "virtuelle Fuhrungshulsen") in der virtuelien fio 
Umgebung. 

3. Die automatisierte Manipulation bewegter Objekte 
wahrend des Simulation sablaufs infolgc von Kollisio- 
nen mit sensidven Polygonen durch Funktioncn, die 
den sensidven Polygonen zugeordnet sind. 65 

4. Die Vereinfachung der interaktiven Handhabung 
durch Zieifuhrungsalgorithmen bei Erreichen von oder 
Eindringen in die virtuelien Fuhrungshulsen. 
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Abbildung 1: Sensitives Polygon 



Bohrung Bolzen 




sensitives Polygon 





Kollision Bolzen - sensitives Polygon 



automatische Ausrichtung des Bolzens 
duxch das sensitive Polygon 



Abbildung 2: Sensitives Polygonpaar 



CCD 
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sensitives Polygonpaar 





Schraubenmutter Kollision mit dem erstem sensitiven Polygon 



a 



Automatische Justage der Schraubenmutter 
durch das erste sensitive Polygon 



D 



Automatische Bewegung der 
Schraubenmutter in die Endposition 
durch das zweite sensitive Polygon 
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Abbildung 3: Virtuelles Kraftfeld 






Objekt 1 



Objekt 2 



Oberflachenteile mit 
geringstem einge- 
schlossenem Winkel 



Automatische Bewegung des 
kleineren Objekts zum und 
Ausrichtung am groBeren Objekt 



Abbildung 4: Virtuelle Fiihrungshulse 

Virtuelle Fuhrungshiilse 




bewegtes 
Objekt 



Bohrung 



Zielfuhrung bei interaktiven Objektbewegungen durch virtuelle 
Fiihrungshulse: je naher der Benutzer das Objekt an seine vorbestimmte 
Endposition heran fiihrt, desto rnehr (zunehmende Grauintensitat in der 
Abbildung) wird er durch die multimodale Informationsdarstellung 
bestatigt; Beispiel: abnehmende Intensitat einer taktil vermittelten 
Vibration bei genauerer Justage des Bolzens in der dargestellten Bohrung. 
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